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(57) Abstract: The invention relates to a method and a system for identifying a specific image (11) within a flow (3) of images (6). 
The inventive system comprises means for calculating a reference index (10) of the specific image (II) and means for calculating 
(43) the current indexes (14) of the current images (13) of said flow (3). The index (14) has the form of an ordered and finite set 
(21b) of values encoding the content of the current image (13). The system also comprises means (44) for comparing said reference 
index (10) with the current index (14) of the current image (13) of the monitored flow (3), The inventive method and system make 
it possible to detect a specific image (1 1) within a flow (3) with great precision and extremely fast while being robust during very 
large photometric alterations. 

(57) Abrege : La presente invention conceme un precede et un syst^me pour identifier une image determin^e (11) dans un flux (3) 
d'images (6). Le sysi^me comprend: des moyens de calcul d'un index de references (10) de Timage determin^e (1 1), des moyens de 
cal cul (43) des index courants (14) des images courantes (13) dudit flux (3). U index (14) a la forme d'un ensemble ordonn^ (2 lb) 
et fini de valeurs codant le contenu de Timage courante (13). Le systeme comprend des moyens de comparaison (44) dudit index de 
r^figrence (10) avec Tindex courant (14) de I'image courante (13) du flux (3) observe. U est ainsi possible de detecter dans un flux 
(3) une image d6termin£e (11) avec une tres grande precision, de maniere extremement rapide, tout en ^tant robuste ^ de tris fortes 
alterations photom^triques. 
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DETECTION D'UNE IMAGE DE REFERENCE ROBUSTE A DE GRANDES 
TRANSFORMATIONS PHOTOMETRIQUES 

Preainbule de la description 

Domaine concerns ^ probleme pose 
La presents invention concerne un precede et un 
systeme pour identifier une image determinee et/ou une sequence 
audiovisuelle determinee dans un flux quelconque d' images ou " de 
sequences audiovisuelles, notamment dans la perspective de 
pouvoir identifier une image proprietaire dans le flux et/ou de 
pouvoir identifier;^ de preference en temps, reel, plusieurs 
sequences audiovisuelles proprietaires dans le flux. 



visuels proteges, I'un des problemes concerne 1' identification 
d^une sequence video propri6taire lors de sa diffusion. Une 
sequence video etant une suite d'' images, la resolution du 
probleme iirplique de pouvoir detecter et identifier une image 
parti culidre (appelee image de reference) en temps reel, tout en 
etant robuste a un certain nombre de transformations 
photometriques cjui peuvent affecter 1' image lors de sa 
diffusion. 

La solution a ce probleme : 

- doit etre robuste a de petites differences de 
caracteristiques , 



Dans le domaine de la surveillance de contenus audio- 
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- doit permettre une rapidite des calculs, 

- doit avoir un fort pouvoir discriminant . 

Solution 
Le precede selon 1' invention 
Le procede coinprend I'etape de calculer, pour chaque 
image, un index se presentant sous la forme d'un ensemble 
ordonne et fini de valeurs, notamment sous la forme d'un vecteur 
caracteristique, codant le contenu de 1' image. Le processus de 
calcul d' index est ci-apres denomme le processus d' indexation. 

Le procede comprend les etapes suivantes mettant en 
oeuvre le processus d' indexation : 

- I'etape de calculer un index de reference, en 
mettant en ceuvre le processus d' indexation pour 1' image 
determinee, ou 

- I'etape d'extraire des index de reference de la 
sequence audiovisuelle determinee, de maniere a composer ., un 
ensemble de reference d'' index de reference. 

On obtient ainsi des index de reference 
caracteristiques de 1' image determinee et/ou de la sequence 
audiovisuelle determinee. 

Le procede comprend en outre I'etape de calculer un 
index, pour des images courantes du flux, en mettant en ceuvre le 
processus d' indexation- pour les images courantes du flux. 
L' index ainsi calcule est ci-apres denomme 1' index courant. 

Le procede comprend I'^etape de comparer les index de 
reference avec 1' index courant de 1' image courante du flux 
observe. II est ainsi possible de de teeter dans un flux une 
image determinee avec une tres grande precision, de maniere 
extremement rapide, tout en etant robuste a de tres" fortes 
alterations photometriques . 

Processus Indexation 

De preference, selon 1' invention le procede est tel 
que, pour calculer un index d'une image, notamment un index de 
reference et/ou un index courant, " il comprend I'etape de r6- 
echantillonner 1' image en une image aux dimensions f ixees par . 
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avance. L' image re-echantillonnee est ci-apres denoramee 1' image 
normalisee . 

Le precede comprend en outre, dans le cas ou 1' image 
est line image couleur comportant des niveaux de couleurs, 
I'etape de convertir au prealable les niveaux de couleurs de 
1' image a re-echantillonner en niveaux de gris . 

L'' image normalisee est representee par une matrice des 
valeurs des pixels, apres quantification discrete des valeurs de 
pixel . 

Le precede comprend en outre I'etape de ranger les 
valeurs selon un ordre de parcours predetermine des positions 
dans la matrice, notamment en concatenant les valeurs de chaque 
ligne de la matrice sous la forme d'un vecteur caracteristique. 
Ce vecteur compose 1' index. 

De preference, selon 1' invention le precede comprend 
en outre I'etape de calculer I'entropie discrete de la' 
distribution des valeurs de 1' index de . reference ou de 1' index 
ceurant. L'entropie est ci-apres denommee I'entropie marginale 
de reference ou I'entropie marginale courante. 

En procedant ainsi en optimise le tenps de 
comparai son . 

L' index peut etre complete avec la valeur d'entropie 

marginale • 

Calcul d'Tine distance de conparaison d' index 

De preference selon 1' invention, les index se 
presentent sous la forme d' ensembles ordonnes et finis de 
valeurs • Ces valeurs sent identifiees, dans 1' index de reference 
et 1' index ceurant, par un systeme de coordonnees . 

Le precede comprend en outre 1' etape de def inir, pour 
une coordonnee donnee du systeme de coordonnees, xm couple de 
valeurs : 

- dent la premiere valeur est la valeur figurant dans 
1' index de reference associee a la coordonnee donnee, et 

- dent la deuxieme valeur est la valeur figurant dans 
1' index ceurant associe a la coordonnee donnee. 
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Le precede comprend en outre I'^etape de calculer 
I'histogramme bi-dimensionnel des couples de valeurs obtenus 
pour toutes les coordonnees du systeme de coordonnees de 1' index 
de reference et de 1' index courant. 

Le procede comprend en outre I'etape de ' calculer 
I'entropie discrete de dudit histogramme bi-dimensionnel, ci- 
apres denommee I'entropie de I'histogramme bi-dimensionnel . 

Le procede comprend en outre I'etape de calculer une 
distance de comparaison entre un index de reference et un index 
courant en f ormant le rapport entre, au numerateirr la somme de 
I'entropie marginale de reference et de I'entropie marginale 
courante diminuee de I'entropie de I'histogramme bi- 
dimensionnel, et au denominateur la somme de I'entropie 
marginale de reference et de I'entropie marginale courante. 

Extraction d' index de reference 

De preference selon 1' invention, le procede est tel 
que, pour extraire de la sequence audi ovi sue lie determinee les 
index de reference *de la sequence audiovisuelle determinee/-. il 
comprend en outre I'etape d' initialiser un ensemble de reference 
con tenant les index de reference des images determinees. Get. 
ensemble est initialise avec 1' index de reference de la premiere 
image d6termin6e de la sequence audiovisuelle determinee. 
L' index de reference de la premiere image determinee de la 
sequence audiovisuelle determinee constitue le premier index de 
reference de 1' ensemble de reference. 

Le proc6d6 comprend en outre : 

- (a) I'etape de calculer, pour chaque image 
determinee de la sequence audiovisuelle determinee, un index 
temporaire courant et de calculer une distance de comparaison 
entre 1' index temporaire courant et le dernier index de 
reference ajoute au ensemble de reference, 

-(b) I'^etape de comparer, a un seuil pr^deteimine SE, 
la distance de cortparaison entre 1' index temporaire courant et 
le dernier index de reference ajoute a 1' ensemble de reference. 
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- (c) I'etape d'ajouter 1' index temporaire courant a 
1' ensemble de reference, si la distance de comparaison depasse 
le seuil predetermine SE . 

L' index temporaire courant devient le dernier index de 
. reference de 1' ensemble de reference • 

Le procede comprend en outre I'etape d'iterer les 
etapes (a) a (c) jusqu'a la fin de la sequence audiovisuelle 
determinee . 

Detection 

De preference selon 1' invention^ le procede est tel 
cjue^ pour conparer les index de reference avec 1' index courant 
de 1' image courante du flux observe ^ il comprend en outre 
I'etape de comparer la distance de comparaison a un seuil 
predetennine SF. De telle sorte que 1' image determinee est 
detectee dans un flux quelconque d' images lorsque la distance de 
comparaison entre 1' index de reference de 1' image determinee^. et 
1' index courant est inferieure au seuil predetermine SF. 

Selon une autre variante de realisation ..de 
1' invention, le procede est plus parti culierement congu pour 
detecter une sequence audiovisuelle determinee dans un flux 
quelconque de sequences audiovisuelles . De preference dans le 
cas de cette variante de realisation, le proc6d6 conprend : 

- (a) I'etape d' initialiser une variable T a - 1 et 
d' initialiser une variable D a 0, 

- (b) I'etape de calculer, pour chaque index de 
reference de 1' ensemble de reference, la distance de comparaison 
entre 1' index de reference de 1' ensemble de reference et 1' index 
courant . 

Si la distance de comparaison ainsi calculee est 
inferieure a un seuil predetermine SD la variable D est 
incrementee de un. Cette condition est ci-apres denommee la 
condition de detection d' index de reference. 

L' instant auquel le premier index de reference de 
1' ensemble de reference de la sequence audiovisuelle determinee 
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satisfait la condition de detection est ci-dessous denomme 
1' instant de la premiere detection. 

Le precede conprend en outre les etapes suivantes : 

- (c) l^'etape d'assigner a la variable T le teirps 
ecoule depuis 1' instant de la premiere detection si la variable 
D est differente de zero, 

- (d) I'etape d'iterer I'etape (b) jusqu'a ce que la 
variable D atteigne le seuil predetermine SD, ou d'iterer 
I'etape (a) si la variable T depasse un seuil predetermine ST, 

- (e) I'etape de detecter la sequence audiovisuelle 
determinee si la variable D atteint le seuil predetermine SD. 

Le systeme selon 1' invention 
Le systeme comprend : 

- des premiers moyens de calcul pour calculer un index 
de reference pour I'' image determinee, en mettant en ceuvre un 
processus d'' indexation, ou 

- des premiers moyens d' analyse informatique pour 
extraire des index de reference de la sequence audiovisuelle 
determinee, de maniere a composer un ensemble de reference 
d' index de reference . 

L'' index de reference se presente sous la forme d' un 
ensemble ordonne et fini de valeurs, notamment sous la forme 
d'un vecteur caracteristique, codant le contenu de 1' image 
determinee. II resulte de la combinaison des traits techniques 
que I'on obtient ainsi un index de reference caracteristique de 
1' image determinee et/ou de la sequence audiovisuelle 
determinee. Le systeme comprend : 

- des moyens de reception pour recevoir le flux 
d' images ou de sequences audiovisuelles comportant au moins une 
image determinee et/ou au moins une sequence audiovisuelle 
determinee, 

- des moyens de traitement informatique pour niomeriser 
le flux d' images ou de sequences audiovisuelles . 

Le systeme comprend en outre des seconds moyens de 
calcul pour calculer un index courant pour des images courantes 
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du flux, en mettant en oeuvre le processus indexation pour les 
images courantes du flux • L' index courant se presente sous la 
forme d'un ensemble ordonne et fini de valeurs, notamment sous 
la forme d'un vecteur caracteristique, codant le contenu de 
1' image courante. Le systeme conqprend en outre des moyens de 
comparaison pour comparer 1' index de reference de 1' image 
determinee avec 1' index courant de 1' image courante du flux 
observe. II resuite de la combinaison des traits technic[ues que 
le systeme permet de detecter dans un flux une image detejoninee 
avec une tres grande precision, de maniere extremement rapide, 
tout en etant robuste a de tres fortes alterations 
photometriques . 

Processus d' indexation 

De preference selon 1' invention, les premiers moyens 
de calcul pour calculer un index de reference d' une image 
determinee comprennent : 

- des moyens d' echantillonnage pour re-echantillonner 
1' image determinee en une image determinee re-echantillonnee.aux 
dimensions fixees par avance, 

- des moyens de quantification discrete des valeurs de 
pixels de 1' image determinee re-echantillonnee • 

Apres quantification discrete, 1' image determinee re- 
echantillonnee est representee par une matrice des valeurs des 
pixels . 

Les premiers moyens de calcul de 1' index de reference 
d'une image determinee comprennent en outre des moyens 
d'ordonnancement pour ranger les valeurs des pixels selon un 
ordre de parcours predetermine des positions dans la matrice, 
notamment en concatenant les valeurs de chaque ligne de la 
matrice sous la forme d''un vecteur caracteristique. On obtient 
ainsi 1' index de reference. 

Le systeme comprend en outre, dans le cas ou I'' image 
determinee est une image couleur comportant des niveaux de 
couleurs, des moyens de conversion poiar convert ir au prealable 
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les niveaiox de couleurs de 1' image determinee a re- 
echantillonner en niveaux de gris. 

De preference, selon 1' invention les premiers moyens 
de calcul coirprennent en outre des moyens de traitement 
reference pour calculer I'entropie discrete de la distribution 
des valeurs de 1' index de reference. Cette entropie est ci-apres 
denommee 1' entropie marginale de reference. 

II est ainsi possible d' optirtiiser le teirps de 
comparaison. II est possible de completer 1' index de reference 
avec cette valeur d' entropie marginale de reference . 

De preference selon 1' invention, le systeme est tel 
que les seconds moyens de calcul pour calculer un index courant 
d'une image courante ccxnprennent : 

- des moyens d' echantillonnage pour re echantillonner 
1' image courante en une image courante aux dimensions fixees par 
avance, 

- des moyens de quajitification discrete des valeurs de 
pixels de 1'' image courante . 

Apres quantification discrete, 1' image courante re- 
echantillonnee est representee par une matrice des valeurs des 
pixels . 

Les seconds moyens de calcul pour calculer un index 
courant d'une image courante comprennent en outre des moyens 
d' ordonnancement pour ranger les valeurs des pixels selon un 
ordre de parcours predetermine des positions dans la matrice, 
notamment en concat^nant les valeurs de chaque ligne de la 
matrice sous la forme d'un vecteur caracteristique . On obtient 
ainsi 1' index courant. 

Le systeme comprend en outre, dans le cas ou 1' image 
courante est une image couleur comportant des niveaxax de 
couleurs, des moyens de conversion pour convertir au prealable 
les niveaux de couleurs de 1' image courante d re -echantillonner 
en niveaux de gris. 

De preference, selon 1' invention, les seconds moyens 
de calcul conprennent en outre des moyens de traitement courant 
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pour calculer I'entropie discrete de la distribution des valeurs 
de 1' index courant. Cette entropie est ci-apres denommee 
I'entropie marginale courante. 

II est ainsi possible d'optimiser le temps de 
coirparaison. II est possible de coitpleter 1' index courant avec 
cette valeur d'' entropie marginale courante. 

Calciil d'^tine distance de conparalson d' Index 

De preference selon 1* invention, chaque index de 
reference et chaque index courant se pr^sentent sous la forme 
d' ensembles ordcnnes et finis de valeurs. Ces valeurs sont 
identifiees, dans 1' index de reference et 1^ index coiarant, par 
un systeme de coordonnees . Le systeme est tel qu'il comprend en 
outre des troisiemes moyens de calcul pour d^finir, pour une 
coordonnee donnee du systeme de coordonnees, xon couple de 
valeurs dont la premiere valeur est la valeur figurant dans 
I'' index de reference associee a la coordonnee donnee, et dont la 
deuxieme valeur est la valeur figurant dans 1' index courant 
associee a la coordonnee donnee. Les troisiemes moyens de calcul 
permettent de calculer 1' histogramme bi-dimensionnel des couples 
de valeurs obtenus pour toutes les coordonnees du systeme de 
coordonnees de 1' index de reference et de 1' index courant. 

Les troisiemes moyens de calcul permettent egalement 
de calculer 1' entropie discrete dudit * histogramme bi~ 
dimensionnel, ci-apres denommee 1' entropie de 1' histogramme bi- 
dimens ionnel . 

Les troisiemes moyens de calcul permettent egalement 
de calculer une distance de comparaison entre un index de 
reference et un index courant en formant le rapport entre, au 
numerateur la somme de 1' entropie marginale de reference et de 
1' entropie marginale courante diminuee de I'' entropie de 
1' histogramme bi-dimensionnel, et au denominateur la somme de 
1' entropie marginale de reference et de 1' entropie marginale 
courante . 

Extraction index de reference 



wo 2004/015590 




CT/FR2003/050024 



De preference selon I'inventiorir le systeme est tel 
que, pour extraire de la sequence audiovisuelle determinee, 
composee d' images determinees, les index de reference de la 
sequence audiovisuelle determineer il comprend en outre des 
cjuatriemes moyens de calcul. Ces quatriemes moyens de calcul 
mettent en ceuvre un algorithme de calcul cornportant une etape 
d' initialisation d'un ensemble de reference contenant les index 
de reference des images determinees . ensemble de reference est 
initialise avec 1' index de reference de la premiere image 
determinee de la sequence .audiovisuelle determinee . index de 
reference de la premiere image determinee de la sequence 
audiovisuelle determinee constitue le premier index de reference 
de 1' ensemble de reference. L' algorithme de calcul comporte en 
outre : 

- (a) I'' etape de (i) calculer, pour chaque image 
determinee de la sequence audiovisuelle determinee, un index 
temporaire courant et (ii> de calculer une distance de 
comparaison entre 1' index temporaire courant et le dernier index 
de reference ajoute a 1' ensemble de reference, 

- (b) 1' etape de comparer, a un seuil predetermine SE, 
la distance de comparaison entre 1' index temporaire courant et 
le dernier index de reference ajoute a 1' ensemble de reference, 

- (c) 1' etape d' a j outer I'' index temporaire courant a 
1' ensemble de reference, si la distance de comparaison depasse 
le seuil predetermine SE. 

L' index temporaire courant devient le dernier index de 
reference de 1' ensemble de reference. L' algorithme de calcul 
comprend en outre 1' etape d'iterer les etapes (a) a (c) jusqu'a 
la fin de la sequence audiovisuelle determinee. 

Detection 

De preference selon 1' invention, le systeme est tel 
que les troisiemes moyens de calcul comparent a un seuil 
predetermine SF la distance de comparaison entre chaque index de 
reference et 1' index courant de 1' image courante du . flux 
observe. De telle sorte que 1' image determinee est detectee dans 
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un flux quelconque d' images lorsque la distance de corrparaison 
entre 1' index de reference de 1' image determinee et 1' index 
courant est inferieure au seuil predetermine SF. 

Selon une autre variante de realisation de 
1' invention^ le systeme est plus parti culierement congu pour 
detecter une sequence audiovisuelle determinee dans un flux 
quelconque de sequences audiovisuelles . Dans ce cas^ le systeme 
comprend des moyens d'^ initialisation pour charger la valeur - 1 
dans un premier registre T, et la valeur 0 dans un second 
registre D. 

Le systeme comprend en outre dans le cas de cette 
.: variante des cinquiemes moyens de calcul pour calculer, pour 
chaque index de reference de 1' ensemble de reference, la 
distance de comparaison entre 1'' index de reference de 1' ensemble 
de reference et 1' index courant. 

Si la distance de comparaison ainsi calculee est 
inferieure a un seuil predetermine SD le second registre D est 
incremente de un. Cette condition est ci-apres denommee . la 
condition de detection d' index de reference. 

L'' instant auquel le premier index de reference de 
1' ensemble de reference de la sequence audiovisuelle determinee 
satisfait la condition de detection est ci-dessous denomme 
1'' instant de la premiere detection. 

Les cinquiemes moyens de calcul sont agences pour 
charger dans le premier registre T le temps ecoule depuis 
1' instant de la premiere detection si la valeur stockee dans le 
second registre D est differente de zero. Les cinquiemes moyens 
de calcul sont agences (i) pour iterer le calcul de la distance 
de coirparaison jusqu'a ce que la valeur stockee dans le second 
registre D atteigne le seuil predetermine SD, ou (ii) pour 
iterer la mise en oeuvre des moyens d' initialisation si la valeur 
stockee dans premier registre T depasse un seuil predetermine 
ST. 
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De sorte que la sequence audiovisuelle detentiinee est 
reputee detectee si la valeur stockee du second regis tre D 
atteint le seuil predetermine SD. 

Precisions mathematiques sur la nature de la fonction 
de conparaison mise en oeuvre dans la presente invention 

Le precede faisant I'objet de 1' invention permet de 
detecter des sequences audi o~vi sue lies proprietaires dans un 
flux video a analyser. Ce procede s'appuie sur 1' existence d'une 
distance de coirparaison permettant de comparer deux images 
quelconques . 

Cette fonction presente la propriete de retourner une 
valeur faible, proche de 0^ lorsque les deux images sont 
differentes et de retourner une valeur elevee lorsque les deux 
images sont superposables, meme en presence de transformations 
photometriques significatives entre les deux images, c'est-a- 
dire modifiant profondement les valeurs des pixels d'une image. 

La section 1 definit la fonction utilisee pour la 
comparaison, et la section 2 montre pourquoi la detection a lieu 
dans les conditions enoncees, meme difficiles. 

1 , Information mutuelle entre deux variables aleatoires 

Issus du domaine de la statistique^ les concepts ci- 
apres rappeles sont connus et peuvent etre retrouves dans les 
ouvrages techniques presentant les fondations de la theorie de 
la communication^ par exenple dans Information Theory , par 
Robert B. Ash, Dover Publications Inc. 

1, 1 Notion d'^entropie discrete 

Si X est une variable aleatoire prenant des valeurs 
discretes {x_l,..j5c_n} avec la distribution de probabilites 
correspondante {p_l,...p_n} ( i.e p(X=x_l)=p_l, .... p (X=x_ji)=p_n) , 
I'entropie discrete de X est par definition: 

H(X) = -I>x_ixlog (px_i; 

1. 2 Notion d'entropie jointe discrete 

Si X est une variable aleatoire prenant des valeurs 
discretes {x_l,..x_n} avec la distribution de probabilites 
correspondante {px__l , ...px_n} ; 
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Si Y est une variable aleatoire prenant des valeurs 
discretes {y_l^,..y_n} avec la distribution de probabilites 
correspondante {py_l r ...py_ii} ; 

Si la variable aleatoire jointe Z=(X,Y) , prenant par 
definition les valeurs discretes { (x_l,y_^l) (x_n,yjn) } munie 
de la distribution de probabilites correspondante {pz_ll,...pz_nn} 

de telle sorte que p(X=:xJL,Y=y_l)=pz_llf ./ 
p (X=x_n,Y=y_n) =pz_nn, 

alors I'entropie jointe discrete de Z=(X,Y) est par 
definition 

H(Z)= H(X,Y) =-Ei, jP2:_ijxlog rpx_ij; 

1. 3 Notion d^entropie conditionnelle discrete 

Si X est une variable aleatoire prenant des valeurs 
discretes {x_l,..^jn} avec la distribution de probabilites 
correspondante {px_l ^...px_n} ; 

Si Y est une variable aleatoire discrete prenant des 
valeurs {y_l/..yjnL) avec la distribution de probabilites 
correspondante {py_l , -py^n} ; 

Si la variable aleatoire conditionnelle discrete 
^^(X|Y) , se pronongant « X sachant Y », prenant par definition 
les valeurs discretes { (x_l |y__l) (x_n|y_n)} munie de la 

distribution de probabilites correspondante {pw_ll ,..,pw_nn} , de 
telle sorte que p(X=^_l | Y=y_l)=pw_ll, p (X=^_n | Y==y_n) ==pw_im^ 

alors I'entropie conditionnelle discrete de W={X|Y) est par 
definition 

H(Z)= H{X,Y) =-Si.jptir_ijxlog rpp^^ij; 

II est aisement prouvable que H(X,Y)= H(X|y)+H(Y) . 
1. 4 Notion d' information rautuelle 

J^' information mutuelle MI (X,Y) entre deux variables 
aleatoires X et Y est par definition: 
MI (X , Y) =H (X) +H (Y) -H (X , Y) 
MI (X, Y) =H (X) -H (X I Y) 
MI (X , Y) =H ( Y) «H (Y I X) 

1. 5 Notion Informa'tlon mutuelle normallsee 
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information mutuelle normalisee NMI(X,Y) entre deux 
variables aleatoires X et Y est par definition donnee par la 
formule suivante: 

NMI (X,Y)=*1I (X, Y) / (H (X) +H (Y) ) 

La notion de distance de comparaison entrant dans la 
definition des traits techniques de la presente invention 
correspond a NMI. 

1 . 5 . 1 Cas des variables independantes 

Si X et Y sont independantes^ alors par definition 
H(X|Y)=H(X), done NMI (X,Y)=0. 

1. 5. 2 Cas des variables liees fonctionnellement 

Si Y=f(X), alors H(Y|X)=H(f (X) |X)=0, car la valeur de 
la variable aleatoire f(X) est entierement determin^e par la 
connaissance de X. En reportant dans la definition de 
1' information mutuelle^ on obtient la simplification 
remarquable : 

MI{X,Y)=H(Y)=H(f (X)) 

Done, 

NMI (X, Y) =H (f (X) ) / (H (X) +H (f (X) ) ) 

2. Detection images par information mutuelle 
normalisee 

2 . 1 Images , histograinmes et variables aleatoires 

Le precede de detection d' images selon 1' invention est 
fonde sur les definitions et proprietes qui viennent d'etre 
exposees . 

En effet : 

• L' histogramme norinalise des niveaux de gris d'une 
image I, obtenu en calculant I'histograinme des valeurs prises 
par I(x) pour x prenant toutes les positions possibles dans 
1' image, est une distribution de probabilites discretes 
permettant par extension de definir « I'entropie d'une image 
voir paragraphe 1.1. 

• L'histogramme joint normalise des niveaux de gris de 
deux images II et 12 de meme dimension, obtenu en calculant 
I'histogramme bi-dimensionnel des valeurs prises oar 
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(II (x) ,12 (x) ) pour X prenant toutes les positions possibles dans 
1' image II, est une distribution de probabilites bi- 
dimensionnelle permettant par extension de definir 
respectivement « I'entropie jointe entre deux images », 
« l''entropie conditionnelle entre deux iinages », « 1' information 
mutuelle entre deux images », « 1' information mutuelle 
normalisee entre deux images », voir respectivement, paragraphes 
1.2, 1.3, 1.4 et 1.5 

Ainsi, la distance de comparaison utilis6e pour 
proceder a des detections est NMI(X,Y), ou X et Y sont deux 
images . 

2. 2 Critere de detection 

Pour d6 teeter une image determin^e, on compare la 
distance de comparaison NMI(X,Y) a un seuil predetermine, fixe a 
I'avance. Si la distance entre I'' image courante, candidate a la 
detection, et 1' image de reference est inferieure a ce seuil, 
1' image courante est d6clar6e « reconnue » ou d6tect6e. 

2. 3 Rdbustesse a des transformations photometriques 

En theorie, 1' image a detecter est la copie exacte de 
1' image de reference. Toutefois, en pratique, 1' image a detecter 
a gen^ralement transite par un canal de transmission bruits, 
ondes hertziennes, recepteur de television, satellite, 
magnetoscope, etc. Ce bruit peut se traduire soit par du bruit 
haute frequence dans 1' image mais aussi par une deformation 
basse frequence du signal, changement . du contraste, de la 
luminosite, saturation, etc. 

II est done primordial que la techniq[ue de detection 
soit robuste a ces changements photometriques. 

La distance NMI(X,Y) a I'avantage de ne pas comparer 
directement les .valeurs des pixels de deux images (une approche 
simple utilisee par exenple dans une distance de correlation 
mais inutilisable en pratique en raison de son manque de 
robustesse) . En revanche, la distance NMI(X,Y) presente 
I'avantage de calculer la capacite a predire la valeur des 
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pixels de X connaissant ceux de Y, sans hypothese particuliere 
sxac la nature de la transformation photometrique liant X et Y. 
|r d'autres termes, la distance NMI(X,Y) reste 

ij^ rainimale si X et Y se correspondent geometriquement, meme si 
I leurs surfaces d' intensite ne sont pas directement 
I superposables . La detection est done extremement robuste aux 
i changements photometriques . 

Descxiption detaillee 

D'autres caracteristiques et avantages de 1' invention 
apparaitront a la lecture de la description de variantes de 
realisation de 1' invention donnees a titre d'exemple indicatif 
et non limitatif , et de la 

- figure 1 qui represente de maniere sch^matique un 
flux 3 d' image quelconque 6 con tenant une image determinee 11, 
notairanent une image proprietaire 4, qu'il convient de detecter, 

- figure 2 qui represente de maniere schematique les 
moyens techniques permettant de calculer wa index de r6f6rence 
10 d'une image determinee 11, 

- figure 3 qui represente de maniere schematique la 
forme sous laquelle peut se presenter un index de reference, 

- figure 4 qui represente de maniere schematique le 
processus d' indexation 39 permettant de calculer un index 8, 
notamment un index courant 14 afin de le coitparer a un index de 
reference 10, 

- figxire 5 qui represente de maniere schematique un 
flux 3 de sequences audiovisuelles 7 contenant une sequence 
audiovisuelle determinee 2, notamment une sequence audiovisuelle 
proprietaire 4, 

- figure 6 qui represente de maniere schematique les 
moyens techniques permettant de calculer a partir d'une sequence 
audiovisuelle determinee 2 un ensemble de reference 30 compose 
d' index de reference 10, 

- figure 7 qui represente de maniere schematique la 
forme sous laquelle peut se presenter un index de reference 10 
d'un ensemble de reference 30, 



wo 2004/015590 




•CT/FR2003/050024 



- figure 8 qui represents de maniere schematique le 
processus d' indexation 39 pemettant de calculer un index 8, 
notainment un index courant 14 d'une image courante 13 d'\ane 
sequence audiovisuelle quelconque 7, afin de le comparer a un 
index de reference 10, 

- figure 9 qui represente de maniere schematique une 
forme de realisation d'un processus d'' indexation d'une image 
deterrninee 11 dans le cas de la premiere variante de realisation 
comme dans le cas de deuxieme variante de realisation, 

- figure 10 qui represente de maniere schematique une 
forme de realisation d' un processus d' indexation d' une image 
courante 13 dans le cas de la premiere variante de realisation 
comme dans le cas de deuxieme variante de realisation, 

- figure 11 qui represente de maniere schematique une 
forme de representation des couples de valeurs 25, 26 composant 
un index de reference 21a et d'un index courant 21b, 

- figure 12 qui represente de maniere schematique les 
moyens techniques permettant de calculer une distance ■ de 
comparaison 29, 

- figure 13 qui represente de maniere schematique une 
forme de realisation des. moyens techniques peimettant d'extraire 
les index de reference 10 et de constituer un ensemble de 
reference 30 dans le cas de la deuxieme variante de realisation, 

- figure 14 qui represente de maniere schematique \ine 
forme de realisation des moyens techniques permettant de 
detecter une sequence audiovisuelle determinee 2, dans le cas de 
deuxieme variante de realisation 

- figure 15 qui represente de maniere schematique, 
dans le cas de deuxieme variante de realisation, 1' organ igramme 
de I'algorithme permettant de detecter une sequence 
audiovisuelle determinee 2 en met t ant en oeuvre les moyens 
techniques decrits en se referant a la figure 15. 

Premiere variante de realisation 

Dans le cas de la premiere variante de realisation de 
1' invention qui va maintenant §tre decrite en se referant aux 
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figures 1, 2, 3 et 4 le systeme est congu pour identifier une 
image deteirminee 11 dans un flux 3 quelconque d' images 6. 
L'' object if est d' identifier une image proprietaire 4 dans le 
fl\ax 3. 

Dans le cas de cette premiere variante de realisation 
le systeme coraprend des premiers moyens de calcul 38 pour 
calculer un index de reference 10 pour chaque image determinee 
11, en mettant en oeuvre un processus d' indexation 39. On decrira 
en detail ci-apres un tel processus d' indexation 39. 

index de reference 10 (fig. 3) se presente sous la 
forme d''un ensemble ordonne et fini 21a de valeurs 20a, 
notamment sous la forme d'un vecteur caracteristique 9a, codant 
le contenu de 1' image determinee 11. On obtient ainsi un index 
de reference 10 caracteristique de 1' image determinee 11. 

Le systeme comprend en outre des moyens de receptions 
41 pour recevoir le flux 3 d' images 6 susceptible de comporter 
au moins une image determinee 11. Le systeme comprend en outre 
des moyens de traitement informatique 42 pour numeriser le flixx 
3 d' images 6 . Le systeme comprend en outre des seconds moyens de 
calcul 43 pour calculer un index courant 14 pour des images 
courantes 13 du flux 3. Ces seconds moyens de calcul 43 
calculent 1' index courant 14 en mettant en oeuvre un processus 
d' indexation 39 comparable a celui mis en oeuvre pour le calcul 
des index de reference 10 des images determinees 11 . De meme que 
1' index de reference 10, 1' index courant 14 se presente sous la 
forme d'^un ensemble ordonne 21b et fini de valeurs 20b, 
notamment sous la forme d'un vecteur caracteristique 9b codant 
le contenu de I'' image courante 13. 

Le systeme comprend en outre des moyens de comparaison 
44 povir comparer 1' index de reference 10 de 1' image determinee 
11 avec 1' index courant 14 de 1' image courante 13 du flux 3 
observe. II est ainsi possible de d§tecter dans vm flux 3 une 
image determinee 11 avec une tres grande precision, de maniere 
extremement rapide, tout en etant robuste a de tres fortes 
alterations photometriques . 
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On decrira plus en detail ci-apres, en se referant a 
la figure 12, une variante de realisation des moyens techniques 
permettant d'effectuer cette detection* 

Deuxiezne variante de realisation 

Dans le cas de la deuxieme variante de realisation de 
1' invention qui va maintenant etre decrite en se referant aux 
figures 5, 6^ 7 et 8 le systeme est congu pour identifier une 
sequence audiovisuelle determinee 2 dans un flux 3 quelconque de 
sequences audi ovi sue lies 7. 

L'objectif est d*^ identifier \xne sequence audiovisuelle 
proprietaire 5 dans le fliox 3. 

Dans le cas de cette deuxieme variante de realisation 
le systeme comprend des premiers moyens d' analyse informatique 

40 pour extraire des index de reference 10 de la sequence 
audiovisuelle determinee 2, de maniere a composer un ensemble de 
reference 30 d^ index de reference 10. 

Chaque index de reference 10 de 1' ensemble . de 
reference 30 est calcule par des moyens de calcul 38 mettant. en 
oeuvre un processus d' indexation 39 comparable a celui qui a .ete 
decrit dans le cas de la premiere variante de realisation. * 
■ Chaque index de reference 10 se presente sous la forme d'un 
ensemble ordonne et fini 21b de valeurs 20b ^ notamment sous la 
forme d'^un vecteur caracteristique 9b codant le contenu de 
chaque image determinee 11 de la sequence audiovisuelle 
determinee 2. On obtient ainsi un ensemble de reference 30 
caracteristique de la sequence audiovisuelle determinee 2. 

Le systeme coitprend en outre des moyens de reception 

41 pour recevoir le flux 3 de secjuences audiovisuelles 7 
susceptible de comporter au moins une sequence audiovisuelle 
determinee 2. 

Le systeme comprend en outre des moyens de traitement 
informatique 42 pour numeriser le fl\ax 3 de sequence's 
audiovisuelles 7. On ne decrira pas, dans le cas de cette 
seconde variante de realisation, les moyens techniques mis en 
oeuvre pour calculer 1' index courant 14 de chaque image courante 
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13 d'une sequence audiovisuelle 7. En effet, ils sont 
coittparables a ceux decrits dans le cas de premiere variante de 
realisation. 

Le systeme comprend en outre des moyens de comparaison 
44 pour comparer les index de reference 10 des images 
determinees 11 composant une sequence audiovisuelle determinee 2 
avec les index courants 14 des images courantes 13 du flux 3 
observe. II est ainsi possible de detecter dans un flux 3 une 
sequence audiovisuelle determinee 2 avec une tres grande 
precision, de maniere extremement rapide, tout en etant robuste 
a de tres fortes alterations photometriques . 

On decrira plus en detail ci-apres en se referant aux 
figures 14 et 15 une variante de realisation des moyens 
techniques permettant d^'effectuer cette detection. 

Les moyens techniques^ notamment les premiers moyens 
de calcul 38 et les second moyens de calcul 43, mis en ceuvre 
pour calculer les index de r§f6rence 10 ou pour calculer les 
index courants 14 pourraient etre reunis dans un meme equipement 
informatique, toutefois on ne sort pas du champ de la presente 
invention en calculant les index de reference 10 dans des 
equipements distincts de ceux utilises pour calculer les index 
courant 14 . Cette remarque concerne la premiere variante de 
realisation aussi bien que la seconde variante de realisation 

Processus d' indexation 

E)ans le cas de la premiere variante de realisation de 
1' invention comma dans le cas de la deuxieme variante de 
realisation, les premiers moyens de calcul 38 et les seconds 
moyens de calcul 43 pour calculer les index de reference 10 et 
les index courants 14 mettent en CBUvre un processus d' indexation 
qui va maintenant §tre deer it en se referant aux figures 9 et 10 
une forme de realisation. On a utilise le terme index" pour 
designer un index de reference 10 ou un index courant 14 
lorsqu'^il n'y a pas lieu de faire de les distinguer. 

Les elements ayant des fonctions coraparables pour 
calculer les index de reference 10 et les index courants 14 ont 
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ete references sur les figures par les memes references 
numeriques . 

Les premiers moyens de calcul 38 pour calculer un 
index de reference 10 d'une image determinee 11. comprennent des 
moyens d'echantillonnage 45 pour re-echantillonner 1' image 
determinee 11 en une image determinee r^-echantillonnee aux 
dimensions fixees par avance. Cette image re echantillonnee 
determinee est ci-apres denommee 1' image deteonninee normalisee 
116. Afin de calculer les index de reference 10 les premiers 
moyens de calcul 38 comprennent en outre des moyens de 
quantification discrete 46 des valeurs de pixels de 1' image 
determinee 11 re~echantillonnee 116. Apres quantification 
discrete^ 1' image determinee 11 r^-§chantillonnee est 
representee par une matrice 19 des valeurs des pixels 17. Les 
premiers moyens de calcul 38 de 1' index de reference 10 d'une 
image determinee 11 comprennent en outre des moyens 
d' ordonnancement 47 pour ranger les valeurs des pixels 17 selon 
un ordre de parcours predetermine des positions 18 dans., la 
matrice 19, notamment en conca tenant les valeurs de chaque ligne 
de la matrice sous la forme d'un vecteur caracteristique 9a. On 
obtient ainsi 1' index de reference 10. 

Le syst^e comprend en outre, dans le cas ou I'' image 
determinee 11 est une image couleur comportant des niveaux de 
couleurs, des moyens de conversion 48 pour convertir au 
prealable les niveaux de couleurs de 1' image determinee 11 a re- 
6chantillonner en niveaux de gris. 

De preference selon 1 ' invention, les premiers moyens 
de calcul 38 comprennent en outre des moyens de trait ement 
reference 49a pour calculer I'entropie discrete de la 
distribution des valeurs de 1^ index de reference 10. Cette 
entropie est ci -apres denommee I'entropie marginale de reference 
50a. 

Le temps de comparaison de deux index est le temps 
necessaire pour calculer la distance de comparaison entre 
lesdits index. En coitpletant 1' index de reference 10 avec cette 
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valeur d'entropie marginale de reference 50a, le calcul de 
ladite distance de comparaison ne necessite plus le calcul de la 
valeur d'entropie de reference 50a. Le temps de comparaison est 
ainsi reduit. 

II est possible de completer 1' index de reference 10 
avec cette valeior d'entropie marginale de reference 50a. 

De preference egalement selon 1' invention, les seconds 
moyens de calcul 43 pour calculer un index courant 14 d'une 
image courante 13 conprennent des moyens d' echantillonnage 45 
pour re echantillonner 1' image courante 13 en une image courante 
aux dimensions fixees par avance. Cette image re-echantillonnee 
courante est ci-apres denoramee 1' image courante normalisee 136. 
Les seconds moyens de calcul 43 comprennent Egalement, pour 
calculer un index courant 14 d'^une image courante 13, des moyens 
de quantification discrete 46 des valeurs de pixels de 1'' image 
courante 13. Apres quantification discrete, 1' image courante 13 
re--echantillonnee est representee par une ma trice 19 des valeurs 
des pixels 17. Les seconds moyens de calcul 43 ccxnprennent en 
outre, pour calculer un index courant 14 d'une image courante 
13, des moyens d'' ordonnancement 47 pour ranger les valeurs des 
pixels selon un ordre de parcours predetermine des positions 18 
dans la mat rice, notamment en concatenant les valeurs de chaque 
ligne de la matrice sous la forme d'un vecteur caracteristique 
9b. On obtient ainsi 1' index courant 14. 

Le systeme conprend en outre, dans le cas ou 1' image 
courante 13 est une image couleur coitportant des niveaux de 
couleurs, des moyens de conversion 48 pour convert ir au 
prealable les niveaux de couleurs de 1' image courante 13 a re- 
echantillonner en niveaux de gris. 

De preference f selon 1' invention, les seconds moyens 
de calcul 43 comprennent en outre des moyens de traitement 
courant. 4 9b pour calculer I'entropie discrete de la distribution 
des valeurs de 1' index courant 14. Cette entropie est ci-apr^s 
denommee 1' entropie marginale courante 50b. 
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II est ainsi possible d'optimiser le teitps de 
coinparaison . II est possible de completer 1' index de courant 14 
avec cette valeur d'entropie marginale courante 50b. 

La reference 16 a parfois ete utilisee pour designer 
une image determinee normalisee qu'il s'agisse d'une image 
determinee noimalisee 116 ou d''une image courante normalisee 
136. 

Calcul d'une distance de conparaison d' index 

Dans le cas de la premiere variante de realisation de 
1' invention comme . dans le cas de la deuxieme variante de 
realisation, le systeme comprend des moyens de comparaison 44 
-pour (i) comparer 1' index de reference 10 de 1' image determinee 
11 avec 1' index courant 14 de 1' image courante 13 du flux 3 
observe . ou pour (ii) comparer les index de reference 10 des 
images determinees 11 composant une sequence audiovisuelle 
deteinminee 2 avec les index courants 14 des images courantes 13 
du flux 3 observe . 

On va maintenant decrire, en se referant aux figures 
11 et 12, une forme de realisation avantageuse des moyens 
techniques permettant d'effectuer ces comparaisons . A cet effet, 
ii convient d' expliciter la notion de distance de comparaison 29 
au sens de la presente invention. 

Ainsi que cela a ete decrit precedemment, chaque index 
de reference 10 et chaque index courant 14 se presentent sous la 
forme d' ensembles ordonnes et finis 21a et 21b de valeurs 20a et 
20b. II est done possible d'' identifier ces valeurs 20a et 20b 
dans 1' index de reference 10 et 1' index courant 14, par un 
systeme de coordonnees 22 . 

Le systeme comprend en outre des troisiemes moyens de 
calcul 52 pour definir, pour une coordonnee donnee 24 du systeme 
de coordonnees 22, un couple de valeur 25, 26 dont la premiere 
valeur 25 est la valeur figurant dans 1' index de reference 10 
associee a la coordonnee donnee 24, et dont la deuxieme valeur 
26 est la valeur figurant dans 1' index courant 14 associe a la 
coordonnee donnee 24. 
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Les troisiemes moyens de calcul 52 permettent de 
calculer 1' histograrnme bi^ddLmensionnel 27 des couples de valeurs 
25, 26 obtenus pour toutes les coordonnees du systeme de 
coordonnees de I'' index de reference 10 et de 1' index courant 14. 

Les troisiemes moyens de calcul 52 permettent 
egalement de calculer I'^entropie discrete dudit histogramme bi- 
dimensionnel, ci-apres denommee I'entropie de 1' histogramme bi- 
dimensionnel 28. 

Les troisiemes moyens de calcul 52 peinnettent 
egalement de calculer une distance de comparaison 29 entre un 
index de reference 10 et un index courant 14 en formant le 
rapport entre, au numerateur la somme de I'entropie marginale de 
reference 50a et de I'entropie marginale courante 50b diminu6e 
de I'entropie de 1' histogramme bi-dimensionnel 28, et au 
denominateur la somme de I'entropie marginale de reference 50a 
et de I'entropie marginale courante 50b. 

Extraction d.' index de reference 

La notion de distance de comparaison 29 entre un index 
de reference 10 et un index courant 14 ayant 'ete explicitee, on 
est maintenant en mesure de completer la description de. la 
seconde variante de 1' invention dans le cas d'une forme de 
realisation avantageuse, en se referant a la figure 13. Dans le 
cas de cette forme de realisation avantageuse, destinee 
permettre a detection d'une sequence audiovisuelle determinee 2 
dans un flux 3 de sequences audiovisuelle s 7, on procede a une 
phase prealable d' extraction d' index de reference 10 de maniere 
a constituer un ensemble de reference 30. 

Pour extraire de la sequence audiovisuelle determinee 
2, composee d' images determinees 11, les index de reference 10 
de la sequence audiovisuelle determinee 2, le systeme comprend 
en outre des cjuatriemes moyens de calcul 53. Ces quatri^mes 
moyens de calcul 53 mettent en oeuvre un algorithme de calcul 54 
coraportant une etape d'' initialisation d'un ensemble de reference 
30 contenant les index de reference 10 des images determinees. 
L' ensemble de reference 30 est initialise avec 1' index de 
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reference 100 de la premiere image determinee 110 de la sequence 
audiovisuelle determinee 2 . L' index de reference 100 de la 
premiere image determinee 110 de la sequence audiovisuelle 
determinee 2 constitue le premier index de reference de 
1' ensemble de reference 30. L'algorithme de calcul 54 comporte 
en outre : 

- (a) I'etape de (i) calculer, pour chaque image 
determinee 11 de la sequence audiovisuelle determinee 2, \an 
index temporaire courant 31 et (ii) de calculer une distance de 
coirparaison 29 entre 1' index temporaire courant 31 et le dernier 
index de reference 32 ajoute a 1' ensemble de reference 30, 

- (b) I'etape de ccxnparer, a un seuil predetermine SE 
33, la distance de conparaison 29 entre 1' index temporaire 
courant 31 et le dernier index de reference 32 ajoute a 
1' ensemble de reference 30, 

- (c) I'^etape d'ajouter 1^ index temporaire courant 31 
a 1' ensemble de reference 30, si la distance de comparaison. 29 
depasse le seuil predetermine SE 33. 

L'' index temporaire courant 31 devient alors le dernier 
index de reference 32 de 1' ensemble de reference 30. 
L'algorithme de calcul 54 comprend en outre I'etape d'' iterer les 
Stapes (a) a (c) juscju'a la fin de la sequence audiovisuelle 
determinee 2 . 

Detection 

On va maintenant decrire, dans le cas de la premiere 
variante de realisation, en se referant a la figure 12, la phase 
finale du processus de detection de 1' image determinee 11, 
notamment de 1' image proprietaire 4, dans un flux 3 quelconque 
d' images 6. A cet effet, les troisiemes moyens de calcul 52 
comparent a un • seuil predetermine SF 65 la distance de 
comparaison 29 entre chaque index de reference 10 et 1' index 
courant 14 de 1' image courante 13 du flux 3 observe. L'' image 
determinee 11 est reputee detectee dans un flux 3 quelconque 
d' images 6 lorsque la distance de comparaison 29 entre 1' index 
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de reference 10 de 1' image determinee 11 et 1' index courant 14 
est inferieure au seuil predetermine SF 65. 

On va maintenant decrire, dans le cas de la deuxieme 
variante de realisation, en se r6f6rant aux figures 14 et 15, la 
phase finale du processus de detection de la sequence 
audiovisuelle determinee 2, notainment de la sequence 
audiovisuelle proprietaire 5, dans un flux 3 quelconque de 
sequences audiovisuelles 7. Dans ce cas, le systeme comprend des 
moyens d' initialisation 57 pour charger la valeur - 1, moins un, 
d'Tone variable T 34, dans un premier registre T'55, et la valeur 
0, zero, d'une variable D 35, dans un second registre D 56. 

Le systeme comprend en outre dans le cas de cette 
variante de realisation des cinquiemes moyens de calcul 58 pour 
calculer, pour chaque index de reference 10 de 1' ensemble de 
reference 30, la distance de conparaison 29 entre 1' index de 
reference 10 considere de 1' ensemble de reference 30 et 1' index 
courant 14 d'une image courante 13 du flux 3 observe. 

Si la distance de comparaison 29 ainsi calculee est 
inferieure a un seuil predetermine SD 59 le second registre D 56 
est incremente de un. Cette condition est ci-apres denommee la 
condition de detection d' index de reference 10. 

L' instant auquel le premier index de reference 10 de 
1' ensemble de reference 30 de la sequence audiovisuelle 
determinee 2 satisfait la condition de detection est ci-dessous 
dencanme 1' instant de la premiere detection. 

Les cinquiemes moyens de calcul 58 sont agences pour 
charger dans le premier registre T 55 le temps ecoule depuis 
1' instant de la premiere detection si la valeur stock^e dans le 
second registre D 56 est differente de zero. Les cinquiemes 
moyens de calcul 58 sont agences (i) pour iterer le calcul de la 
distance de comparaison 29 jusqu'a ce que la valeur stock^e dans 
le second registre D 56 atteigne le seuil predetermine SD 59, ou 
(ii) pour iterer la mise en oeuvre des moyens d' initialisation si 
la valeur stockee dans premier registre T 55 depasse un seuil 
predetermine ST 60 . 
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De sorte que la seqpaence audiovisuelle determinee 2 
peut etre reputee detectee si la valeur stockee du second 
registre D 56 atteint le seuil predetermine SD 59. 

On a represents sur la figure 15 1' organigramme de 
I'algorithme qui vient d'etre decrit. 
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REVENDICATIONS 

1. ■ Precede pour identifier une image determinee (11) 
et/ou une sequence audiovisuelle determinee (2) dans un flux (3) 
quelconque d' images (6) ou de sequences audiovisuelles (7)^ 
notamment dans la perspective de pouvoir identifier une image 
proprietaire (4) dans ledit flux (3) et/ou de pouvoir 
identifier de preference en tenrps reel, plusieurs sequences 
audiovisuelles proprietaires (5) dans ledit flux (3) ; 

ledit procede comprenant I'etape de calculer, pour 
chaque image (6),. un index se presentant sous la forme d'un 
ensemble ordonne (21) et fini de valeurs, notamment sous la 
forme d'un vecteur caracteristique (9);. codant le contenu de 
ladite image (5) ; ledit processus de calcul d'' index etant ci- 
apres denomme le processus d' indexation (39) ; 

ledit procede comprenant : 

- I'etape de calculer un index de reference (10), en 
mettant en oeuvre ledit processus d' indexation (39) pour ladite 
image determinee (11) , ou 

- I'^etape d'^extraire des index de reference (10) de 
ladite sequence audiovisuelle determinee (2), de maniere a 
coitposer un ensemble de reference (30) d' index de reference 
(10) ; 

de sorte que I'on cbtient ainsi des index de reference 
(10) caracteristiques de 1' image determinee (11) et/ou de la 
sequence audiovisuelle detexirdnee (2) ; • 

ledit procede comprenant en outre I'etape de calculer 
un index, pour des images courantes (13) dudit flux (3), en 
mettant en oeuvre ledit processus d'' indexation (39) pour lesdites 
images courantes (13) dudit flux (3); ledit index etant ci-apres 
denomme I'' index courant (14) ; 

ledit procede coiiprenant I'etape de comparer lesdits 
index de reference (10) avec 1' index courant. (14) de 1' image 
courante (13) du flux (3) observe ; 
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de sorte que ledit precede permet de detecter dans \m 
flux (3) une image determinee (11) avec une tres grande 
precision, de maniere extren^ment rapide, tout en etant robuste 
^ de trds fortes alterations photom6triques . 

2, Procede selon la revendication 1 ; ledit procede 
etant tel que, pour calculer un index d'une image (6), notamment 
un index de reference (10) et/ou un index courant (14) , il 
coraprend l'6tape de re echantillonner ladite image (6) en une 
image aux dimensions fixees par avance ; ladite image re- 
echantillonnee etant ci-apres denoinmee 1' image normalisee (16) ; 

ledit procede comprenant en outre, dans le cas ou 
ladite image (6) est une image couleur comportant des niveaux de 
couleurs, I'etape de convertir au prealable lesdits niveaux de 
couleurs de ladite image (6) a re -echantillonner en niveaux de 
gris ; 

ladite image normalisee (16) etant representee par une 
matrice (19) des valeurs des pixels (17), apres quantification 
discrete desdites valeurs de pixels ; 

ledit procede comprenant en outre les etapes 
suivantes : 

- l^etape de ranger lesdites valeurs selon un ordre de 
parcours predetermine des positions (18) dans ladite matrice 
(19) , notamment en concatenant lesdites valeurs de chaque ligne 
de ladite matrice (19) sous la forme d'un vecteur 
caracteristique (9), de maniere a obtenir ledit index. 

3. Procede selon la revendication 2 ; ledit procede 
comprenant en outre l^etape de calculer I'entropie discrete de 
la distribution des valeurs dudit index de reference (10) ou 
dudit index courant (14) ; - ladite entropie etant ci-apres 
denommee 1'' entropie marginale de reference (50a) ou 1' entropie 
marginale courante (50b) ; 

de sorte que I'on optimise ainsi le teirqps de 
comparaison ; 

de sorte qu'il est ainsi possible de completer ledit 
index avec cette valeur d' entropie marginale. 
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4. Precede selon la revendication 3 ; lesdits index 
se presentant sous la forme d' ensembles ordonnes (21a, 21b) et 
finis de valeurs identifiees, dans ledit index de reference (10) 
et ledit index courant (14), par un systeme de coordonnees 
(22) ; 

ledit procede etant tel qu'il comprend en outre les 
etapes suivantes : 

- I'etape de definir, pour une coordonnee donnee (24) 
du systeme de coordonnees (22), un couple de valeurs (25, 26) 
dont : 

• la premiere valeur (25) est la valeur figurant dans 
1' index de reference (10) associee a ladite coordonnee donnee 
(24), et dont 

• la deuxieme valeur (26) est la valeur * figurant dans 
1' index courant (14) associe a ladite coordonnee donnee (24), 

- I'etape de calculer I'' histogramme bi-dimensionnel 

(27) desdits couples de valeurs (25, 26) obtenus pour toutes les 
coordonnees du systeme de coordonnees (22) de 1' index de 
reference (10) et de 1' index courant (14), 

- I'etape de calculer I'entropie discrete dudit 
histogramme bi-dimensionnel, ci-apres denommee 1/entropie de 
1 ' histogramme bi -dimensionnel ( 28 ) , 

- I'etape de calculer une distance de comparaison (29) 
entre un index de reference (10) et un index courant (14) en 
formant le rapport entre, au numerateur la somme de I'entropie 
marginale de reference (50a) et de I'entropie marginale courante 
(50b) diminuee de I'entropie de 1' histogramme bi-dimensionnel 

(28) , et au denominateur la somme de I'entropie marginale de 
reference (50a) et de I'entropie marginale courante (50b) . 

5. Procede selon la revendication 4 ; ledit procede 
6tant tel que, pour extraire de ladite sequence audiovisuelle 
determinee (2) les index de reference (10) de ladite sequence 
audiovisuelle determinee (2) , il comprend en outre les etapes 
suivantes : 
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- l'§tape d' initialiser un ensemble de reference (30) 
contenant lesdits index de reference (10) desdites images 
determinees (11) avec 1' index de reference (100) de la premiere 
image determinee (110) de ladite sequence audiovisuelle 
determinee (2) ; ledit index de reference (100) de ladite 
premiere image determinee (110) de ladite sequence audiovisuelle 
determinee (2) constituant le premier index de reference . dudit 
ensemble de reference (30) ; 

ledit precede comprenant en outre : 

- (a) l^etape de calculer^ pour chaque image 
determinee (11) de ladite sequence audiovisuelle determinee (2) , 
un index temporaire courant (31) et de calculer une distance de 
comparaison (29) entre ledit index temporaire courant (31) . et le 
dernier index de reference (32) ajoute audit ensemble de 
reference (30), 

- (b) I'etape de comparer, a un seuil predetermine SE 
(33)v ladite distance de comparaison (29) entre ledit index 
temporaire courant (31) et le dernier index de reference (32) . 
ajoute audit ensemble (30) ; 

-(c) I'etape d'ajouter ledit index temporaire courant 
(31) audit ensemble de reference (30), si la distance de 
comparaison (29) depasse ledit seuil predetermine SE (33) ; 
ledit index temporaire courant (31) devenant le dernier index de 
reference (32) dudit ensemble de reference (30) ; 

ledit precede comprenant en outre I'etape d' iterer les 
etapes (a) a (c)_jusqu'a la fin de ladite sequence audiovisuelle 
determinee (2) . 

6* Precede selon I'une quelconque de revendi cat ions 1 
a 5 ; ledit precede etant tel que pour comparer lesdits index de . 
reference (10) avec 1' index courant (14) de 1' image courant e 
(13) du flux (3) observe, il comprend en outre I'etape de 
comparer ladite distance de conparaison (29) a un seuil 
predetermine SF (65) ; 

de telle sorte que dans le cas d'un flux (3) 
quelconque d' images (6) ladite image deteonninee (11) est 
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detectee a la condition que ladite distance de conrparaison (29) 
entre 1' index de reference (10) de ladite image determinee (11) 
et 1' index courant (14) est inferieure audit seuil predeteinmine 
SF (65) . 

7. Procede selon la revendication 5 ; ledit procede 
etant plus pairticuliereinent congu pour detecter une sequence 
audiovisuelle deteiminee (2) dans un fl\ix (3) quelconque de 
sequences audiovisual les (7) ; ledit procede comprenant les 
etapes suivantes : 

- (a) I'^etape d' initialiser une variable T (34) a - 1, 
I'etape d' initialiser une variable D (35) a 0, 

- (b) I'etape de calculer, pour chaque index de 
reference (10) dudit ensemble de reference (30>^ ladite distance 
de comparaison (29) entre ledit index de reference (10) dudit 
ensemble de reference (30) et 1' index courant (14) ; de sorte 
que si ladite distance de comparaison (29) est inferieure a un 
seuil predetermine SD (59) ladite variable D (35) est 
d' incrementee de un ; ladite condition etant ci-apres denommee 
condition de detection d' index de reference (10). 

* le procede etant tel ' que 1' instant auquel le premier 
index de reference (10) dudit ensemble de reference (30) de 
ladite sequence audiovisuelle determinee (2) satisfait ladite 
condition de detection est ci~dessous denomme 1' instant de la 
premiere detection ; 

le procede comprend en outre les etapes suivantes : 

- (c) I'etape d'assigner a ladite variable T (34) le 
temps ecoule depuis ledit instant de la premiere detection si la 
variable D (35) est differente de zero, 

- (d) I'etape d'iterer I'etape (b) jusqpj'a ce que 
ladite variable D (35) atteigne ledit seuil predetermine SD 
(59) ; ou d'it^rer I'etape (a) si ladite variable T (34) depasse 
un seuil predetermine ST (60), 

- (e) I'^tape de detecter ladite sequence 
audiovisuelle determinee (2) si la variable D (35) atteint ledit 
seuil predetermine SD (59) . 



wo 2004/015590 




IPCT/FR2003/050024 



8. Systeme pour identifier une image determinee (11) 
et/ou une sequence audiovisuelle determinee (2) dans \in flux (3) 
quelconque d' images (6) ou de sequences audiovisuelles (7), 
notamment dans la perspective de pouvoir identifier une image 
proprietaire (4) dans ledit flux (3) et/ou de pouvoir 
identifier, de preference en temps reel, plusieurs sequences 
audiovisuelles proprietaires (5) dans ledit flux (3) ; 

ledit systeme comprenant : 

- des premiers moyens de calcul (38) pour calculer un 
index de reference (10) pour ladite image determinee (11)/ en 
mettant en ceuvre un processus d' indexation (39), ou 

- des premiers moyens d'' analyse informatique (40) pour 
extraire des index de reference (10) de ladite sequence 
audiovisuelle determinee {2), de maniere a composer un ensemble 
de reference (30) d' index de reference (10) ; 

ledit index de reference (10) se presentant sous la 
forme d'^un ensemble ordonne (21a) et fini de valeurs (20a)/ 
notamment sous la forme d'un vecteur caract6ristique. (9a), 
codant le contenu de ladite image determinee (11) ; 

de sorte que I'' on obtient ainsi un index de reference 
(10) caracteristique de 1' image determinee (11) et/ou de la 
sequence audiovisuelle determinee (2) ; 

ledit systeme comprenant en outre : 

- des moyens de reception (41) pour recevoir ledit 
fliox (3) d' images (6) ou de sequences audiovisuelles (7) 
comportant au moins une image determinee (11) et/ou au moins une 
sequence audiovisuelle deteinninee (2) , 

- des moyens de traitement informatique (42) pour 
numeriser ledit flux (3) d' images (6) ou de sequences 
audiovisuelles (7) ; 

ledit systeme comprenant en outre : 

- des seconds moyens de calcul (43) pour calculer un 
index courant (14) pour des images courantes (13) dudit flux 
(3)/ en mettant en oeuvre ledit processus d' indexation (39) pour 
lesdites images courantes (13) dudit flux (3) ; 
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ledit index courant (14) se presentant sous la forme 
d'un ensemble ordonne (21b) et fini de valeurs^ notamment sous 
la forme d'un vecteur caracteristique (9b) ^ codant le contenu de 
ladite image courante (13) ; 

ledit systeme comprenant en outre : 

- des moyens de comparaison (44) pour comparer ledit 
index d.e reference (10) de ladite image determinee (11) avec 
1' index courant (14) de 1' image courante (13) du flux (3) 
observe ; 

.de sorte que ledit systeme permet de de teeter dans un 
flux (3) une image determinee (11) avec une tres grande 
precision, de maniere extremement rapide, tout en etant robuste 
^ de trds fortes alterations photometriques . 

9. Systeme selon la revendication 8 ; ledit systeme 
etant tel que lesdits premiers moyens de calcul (38) pour 
calculer un index de reference (10) d'une image determinee (11) 
comprennent : 

- des moyens d' echantillonnage (45) pour re 
echantillonner ladite image determinee (11) en une image 
determinee re-echantillonnee aux dimensions fixees par avance, 

- des moyens de quantification discrete (46) des 
valeurs de pixels de ladite image determinee (11) re- 
echantillonnee de sorte que ladite image determinee (11) re- 
echantillonnee est representee par une mat rice (19) des valeurs 
des pixels (17), apres quantification discrete ; 

- des moyens d'' ordonnancement (47) pour ranger 
lesdites valeurs des pixels (17) selon un ordre de parcours 
predetermine des positions (18) dans ladite ma trice (19), 
notamment en concat^nant lesdites valeurs de chaque ligne de 
ladite matrice (19) sous la forme d'un vecteur caracteristique 
(9a) , de maniere a obtenir ledit index de reference (10) ; 

ledit systeme comprenant en outre, dans le cas ou 
ladite image determinee (11) est une image (6) couleur 
comportant des niveaux de couleurs, des moyens de conversion 
(48) pour convertir au prealable lesdits niveaiox de couleurs de 
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ladite image determinee (11) a re-ediantilloner en niveaux de 
gris. 

10. Systeme selon la revendication 9 ; lesdits 
premiers moyens de calcul (38) coiaprenant en outre des moyens de 
traitement reference (49a) pour calculer I'entropie discrete de 
la distribution des valeurs dudit index de reference (10); 
ladite entropie etant ci-apre& denommee I'^entropie marginale de 
reference (50a) ; 

de sorte c[ue I'on optimise ainsi le temps de 

comparaison ; 

de sorte que I'oh peut ainsi completer ledit index de 
reference (10) avec cette valeur d' entropie marginale de 
reference (50a) . 

11. Systeme selon I'^une quelconque des revendications 
8 a 10 ; ledit systeme etant tel que lesdits seconds moyens de 
calcul (43) pour calculer un index courant (14) d'une image 
courante (13) comprennent : 

- des moyens d' echantillonnage (45) pour- re 
echantillonner ladite image courante (13) en une image courante 
(13) aux dimensions fixees par avance, 

- des moyens de quantification discrete (46) des 
valeurs de pixels de ladite image courante (13) de sorte que 
ladite image courante (13) . re-echantillonnee est representee par. 
une matrice (19) des valeurs des pixels (17), apres 
quantification discrete 

- des moyens d' ordonnancement (47) pour ranger 
lesdites valeurs des pixels selon un ordre de parcours 
predetermine des positions (18) dans ladite matrice (19), 
notamment en concatenant lesdites valeurs de chaque ligne de 
ladite matrice (19) sous la forme d^'un vecteur caracteristique 
(9b), de maniere a obtenir ledit index courant (14) ; 

ledit systeme comprenant en outre, dans le cas ou 
ladite image courante (13) est une image (6) couleur comportant 
des niveaux de couleurs, des moyens de conversion (48) pour 
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convertir au prealable lesdits niveaux de couleurs de ladite 
image courante (13) a re-echantilloner en niveaux de gris . 

12. Systeme selon la revendi cation 11 ; ledit 
seconds mo yen de calcul (43) comprenant en outre des moyens de 
traitement courant (49b) pour calculer l^entropie discrete de la 
distribution des valeurs dudit index courant (14) ; ladite 
entropie etant ci-apres denommee I'entropie marginale courante 
(SOb) ; 

de sorte que I'on optimise ainsi le temps de 
comparaison ; 

de sorte que I'on peut ainsi completer ledit index 
courant (14) avec cette valeur d' entropie courante. 

13. Systeme selon la revendication 12 ; lesdits index 
de reference (10) et lesdits index courant (14) se presentant 
sous la forme d' ensembles ordonnes (21a, 21b) et finis de 
valeurs identifiees^ dans ledit index de reference (10) et ledit 
index courant (14), par un systeme de coordonnees (22) ; 

ledit systeme 6tant tel que, il comprend en outre des 
troisieraes moyens de calcul (52) pour : 

- definir, pour una coordonnee donnee (24) du systeme 
de coordonnees (22), un couple de valeur (25, 26) dont la 
premiere valeur (25) est la valeur figurant dans 1' index de 
reference (10) associee a ladite coordonnee donnee (24), et dont 
la deuxieme valeur (26) est la valeur figurant dans 1' index 
courant (14) associe a ladite coordonnee donnee. (24) , 

- calculer I'histogramme bi-dimensionnel (27) desdits 
couples de valeurs (25, 26) obtenus pour toutes les coordonnees 
du systeme de coordonnees (22) de 1' index de reference (10) et 
de 1' index courant (14), 

- calculer I'entropie discrete dudit histogramme bi- 
dimensionnel, ci-apres denommee I'entropie de 1 ' histogramme bi- 
dimens ionnel (28), 

- calculer une distance de coirparaison (29) entre un 
index de reference (10) et un index courant (14) en formant le 
rapport entre, au niomerateur la somme de I'entropie marginale de 
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reference (50a) et de I'entropie marginale courante (50b) 
diminuee de I'entropie de 1' hi stogr amine bi-dimensionnel (28), et 
au denominateur la soinme de I'entropie marginale de reference 
(50a) et de I'entropie marginale courante (50b). 

14. Systeme selon la revendication 13 ; ledit systeme 
etant tel que, pour extraire de ladite sequence audiovisuelle 
determinee (2), composee d' images determinees (11), les index de 
reference (10) de ladite sequence audiovisuelle determinee (2) , 
il comprend en outre des quatriemes moyens de calcul (53) 
mettant en oeuvre un algorithme de calcul (54) comportant une 
etape d' initialisation d'un ensemble de reference (30) contenant 
lesdits index de reference (10) desdites images determinees (11) 
avec 1' index de reference (100) de la premiere image determinee 

(110) de ladite sequence audiovisuelle determinee (2) ; ledit 
index de reference (100) de ladite premiere image determinee 

(110) de ladite sequence audiovisuelle determinee (2) 
constituant le premier index de reference de l'^ ensemble de 

reference (30) ; 

ledit algorithme de calcul (54) coinportant en outre : 

- (a) 1' etape de calculer, pour chaque image 
determinee (11) de ladite sequence audiovisuelle determinee (2) ^ 
un index temporaire courant (31) et de calculer une distance de 
coraparaison (29) entre ledit index temporaire courant (31) et le 
dernier index de reference (32) ajoute audit ensemble de 
reference (30) ; 

- (b) 1' etape de comparer, ^ un seuil predetermine SE 
(33) , ladite distance de comparaison (29) entre ledit index 
tenporaire courant (31) et le dernier index de reference (32) 
ajoute audit ensemble de reference (30); 

- (c) 1' etape d'ajouter ledit index temporaire courant 
(31) audit ensemble de reference (30) , si la distance de 
comparaison (29) depasse ledit seuil predetermine SE (33) ; 
ledit index temporaire courant (31) devenant le dernier index de 
reference (32) dudit ensemble de reference (30) ; 
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ledit algorithme de calcul (54) comprenant en outre 
I'etape d' iterer les etapes (a) a (c) jusqu^a la fin de ladite 
sequence audiovisuelle determinee (2) . 

15. Systeme selon I'^une quelconque de revendications 
13 ou 14; ledit systeme etant tel que lesdits troisiemes moyens 
de calcul (52) comparent a un seuil predetermine SF (65) ladite 
distance de comparaison (29) entre lesdits index de reference 

(10) et 1' index courant (14) de 1' image courante (13) du flux 

(3) observe ; 

• de telle sorte que dans le cas d'un flux (3) 
quelconque d' images (6) ladite image determinee (11) est 
detectee a la condition que ladite distance de comparaison (29) 
entre 1' index de reference (10) de ladite image determinee (11) 
et I'' index courant (14) soit inferieure audit seuil predetermine 
SF (65) • 

16. Systeme selon la revendi cation 14 ; ledit systeme 
etant plus particulierement congu pour detecter une sequence 
audiovisuelle determinee (2) dans un flux (3) quelconque de 
sequences audiovisuelles (7) ; 

ledit systeme comprenant des moyens d' initialisation 
(57) pour charger : 

la valeur - 1 dans un premier regis tre T (55) , et 

la valeur 0 dans un second registre D (56) ; 

ledit systeme comprenant en outre des cinquiemes 
moyens de calcul (58) pour calculer, pour chaque index de 
reference (10) dudit ensemble de r6f6rence (30) r ladite distance 
de coirparaison (29) entre ledit index de reference (10) dudit 
ensemble de reference (30) et 1'' index courant (14) ; de sorte 
que si ladite distance de comparaison (29) est inferieure a un 
seuil predetermine SD (59) le second registre D (56) est 
incrementee de un ; ladite condition etant ci-apres denommee 
condition de detection d' index de reference (10) . 

le systeme etant tel que 1' instant auquel le premier 
index de reference (10) dudit ensemble de reference (30) de 
ladite sequence audiovisuelle determinee (2) satisfait ladite 
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condition de detection est ci-dessous denontme 1' instant de la 
premiere detection ; 

lesdits cinquiemes moyens de calcul (58) etant agences 
pour charger dans ledit premier registre T (55) le temps 6coule 
depuis ledit instant de la premiere detection si la valeur 
stockee dans ledit second registre D (56) est differente de 
zero ; 

lesdits cinquiemes moyens de calcul (58) etant agences 
pour iterer ledit calcul de ladite distance de comparaison (29), 
jusqu'a ce que la valeur stockee dans ledit second registre D 

(56) atteigne ledit seuil predetermine SD (59) , ou pour iterer 
la mise en oeuvre desdits moyens d' initialisation (57) si la 
valeur stockee dans premier registre T (55) depasse un seuil 
predetermine ST (60) , 

de sorte que ladite sequence audiovisuelle determinee 

(2) est detectee si la valeur stockee dudit second registre D 

(56) atteint ledit seuil predetermine SD (59) . 
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(57) Abstract: The invention relates to a method and a system for identifying a specific image (11) within a flow (3) of images (6). 
^ The inventive system comprises means for calculating a reference index (10) of the specific image (11) and means for calculating 

(43) the current indexes (14) of the current images (13) of said flow (3). The index (14) has the form of an ordered and finite set 

. (21b) of values encoding the content of the current image (13). The system also comprises means (44) for comparing said reference 
^> index (10) with the current index (14) of the current image (13) of the monitored flow (3). The inventive method and system make 
1^ it possible to detect a specific image (1 1) within a flow (3) with great precision and extremely fast while being robust during very 

large photometric alterations. 

(57) Abrege : La presente invention conceme un proc6d6 et un syst&me pour identifier une image d^tenninee (1 1) dans un flux (3) 

d'images (6). Le syst^me comprend: des moyens de calcul d'un index de references (10) de I'lmage d^termin^e (1 1), des moyens de 
Jj^ calcul (43) des index courants (14) des. images courantes (13) dudit flux (3). U index (14) a la forme d*un ensemble ordonn^ (21b) 

et fini de valeurs cod ant le contenu de Timage courante (13). Le systeme comprend des moyens de comparaison (44) dudit index de 
^5 reference (10) avec Tindex courant (14) de Timage courante (13) du flux (3) observ6. II est ainsi possible de detecter dans un flux 

(3) une image determin^e (11) avec une tres grande precision, de maniere extremement rapide, tout en ^tant robuste ^ de tr^s fortes 

alt^tions photom^triques. 
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